OmegaUse-SOP: SOP Engineering for Professional Computer Use from Human Demonstrations
OmegaUse-SOP：基于人类演示的专业计算机使用SOP工程
🧭 GUI Agent 技能工程化
Baidu, Inc. · Ningxia Electric Power Engineering Co., Ltd.
提出SOP Engineering系统OmegaUse-SOP，将人类专业软件操作演示转化为可复用GUI Agent技能，提升专业SOP任务可靠性
📌 工作参考价值（4 点）
- 对电商运营自动化（如自动操作广告投放后台、商家后台、ERP）的Agent，可借鉴Observe-Reason-Configure-Execute四阶段：先录制人类专家操作轨迹，再抽象成语义级步骤，配置领域规则，最后执行时逐步grounding+验证，而不是让LLM一次生成全部操作，能显著提高可靠性。
- 将SOP与Agent分离，类比prompt engineering，把“专业技能”作为可迭代资产：每次执行失败或人工修正后，回流更新演示和规则，形成企业专属的Agent技能库，类似推荐系统中的用户行为反馈闭环。
- 步骤级验证（step-wise verification）思路可迁移到多步Agent任务中，例如在电商选品、广告调价等流程中，每一步生成后由规则或轻量模型校验中间状态，避免错误累积导致任务失败。
- 多模态轨迹（截图+事件流）可作为训练/微调数据，尤其适合缺乏API的专业软件场景；在电商内部工具中，若某些操作只能通过GUI完成，此方法可低成本积累领域专家知识。